S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意

k.uehara

2024.03.19

データアナリティクス事業本部のueharaです。

今回は、S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意しましょうという話をしたいと思います。

はじめに

Boto3を利用してS3間でファイルコピーをするというのはよくあるケースだと思います。

中でも、大きめの容量のファイルをコピーする際は以下のブログでも紹介されているように S3.Client.copy() メソッドを利用するかと思います。

ただ、この関数をデフォルトのまま使用するとファイルコピーの速度といったパフォーマンス面で課題が生じるケースがあります。

ファイルコピーを行う際の設定値について

S3.Client.copy()メソッドは Config という引数を持っており、こちらは boto3.s3.transfer.TransferConfigを受け取ります。

ここで、デフォルトのConfigではマルチパート転送における各パートのサイズが 8MB となっており、大きめのファイルのコピーを想定したケースにおいては少々小さめの値となっています。（細かく分割されすぎてしまう）

この値を調整することで、転送速度を向上させることができます。

検証

今回は、バケットA（cm-da-uehara）に10GBの dummy.dat を用意し、バケットB（cm-da-uehara-2）にファイルコピーするケースを考えます。

まずは、以下の通りConfigを設定せずに（デフォルトのまま）コピーを実施してみます。

import time
import boto3

s3_resource = boto3.resource("s3")

copy_target = {
    "Bucket": "cm-da-uehara-2",
    "Key": "dummy.dat",
    "CopySource": {"Bucket": "cm-da-uehara", "Key": "dummy.dat"}
}

start = time.time()
s3_resource.meta.client.copy(**copy_target)
end = time.time()

time_diff = end - start
print(f"{time_diff} sec")

上記を3回計測し、実行時間の平均を算出すると約 40秒 でした。

次に、multipart_chunksizeを 256MB まで上げて検証してみます。

import time
import boto3

s3_resource = boto3.resource("s3")

TransferConfig = boto3.s3.transfer.TransferConfig(
    multipart_threshold=256*1024*1024,
    multipart_chunksize=256*1024*1024
)
copy_target = {
    "Bucket": "cm-da-uehara-2",
    "Key": "dummy.dat",
    "CopySource": {"Bucket": "cm-da-uehara", "Key": "dummy.dat"},
    "Config": TransferConfig
}

start = time.time()
s3_resource.meta.client.copy(**copy_target)
end = time.time()

time_diff = end - start
print(f"{time_diff} sec")

先と同様に3回計測を行い、実行時間の平均を算出すると約 16秒 となりました。

比較すると実行時間が半分以下になっていることが分かります。